Ready Cohorts：LLM 智能体控制中的 GPU 机会边界与主机往返优化
文章背景与核心概要
本文探讨了 LLM 智能体服务中常见的效率瓶颈问题，即模型推理与工具执行之间频繁切换所带来的性能损耗。作者提出了“就绪队列（Ready-cohort）”框架，旨在量化控制路径何时能提供足够的并发度以实现高效的 GPU 执行。
研究通过形式化主机端决策与设备端执行之间的边界，证明了将路由决策保留在 GPU 上可以显著降低延迟，在所有测试配置中最高实现了 2.39 倍的加速。该研究为优化智能体控制循环提供了数学基础，并提出了一种可复现的方法论，以最大限度地减少主机与设备之间的往返开销。
关键研究发现
1. 就绪队列边界 (The Ready-Cohort Boundary)
作者将“就绪队列”边界形式化，以量化 GPU 的利用潜力。通过对公共追踪面板进行平稳泊松重放（Stationary Poisson replay），研究定义了以下指标： * F (固定分区份额): 30.19% * P* (精确离线份额): 43.00% * U (局部上限): 45.85%
研究结论指出，精确的打包方法可以恢复约 81.83% 在固定窗口边界处通常会丢失的性能机会。
1. The Ready-Cohort Boundary
The author formalizes the "ready-cohort" boundary to quantify GPU utilization potential. Using a stationary Poisson replay of public trace panels, the study defines: * F (Fixed-partition share): 30.19% * P* (Exact offline share): 43.00% * U (Local upper bound): 45.85%
The research concludes that exact packing methods can recover approximately 81.83% of the opportunity typically lost at fixed window boundaries.
2. 设备驻留路径优化 (Device-Resident Path Optimization)
本工作的核心贡献在于消除了不必要的主机往返。通过将 GPU 计算出的二进制决策保留在设备上，而不是将数据返回给主机进行重新调度，系统实现了持续的性能提升。 * 性能: 在所有 36 种测试配置中，设备驻留路径的表现均优于基于主机的调度。 * 可靠性: 在超过 1400 万次批处理调用中，设备驻留逻辑的结果与单独实现的主机预言机（Host Oracle）完全一致。
2. Device-Resident Path Optimization
A core contribution of this work is the elimination of unnecessary host round trips. By maintaining GPU-computed binary decisions on the device—rather than returning data to the host for redispatching—the system achieves consistent performance gains. * Performance: The device-resident path outperformed host-based dispatching in all 36 tested configurations. * Reliability: Across over 14 million batched invocations, the device-resident logic matched the results of a separately implemented host oracle.
3. 架构启示 (Architectural Implications)
论文确立了实现高效 GPU 智能体控制的两个关键“门控”： 1. 截止期限可行的队列供应: 确保有足够的并发工作量来证明 GPU 执行的合理性。 2. 观测放置: 通过将决策逻辑保留在设备上来最小化数据移动。
作者指出，未能优化主机端决策点的固定嵌套设备图，其性能始终低于所提出的动态方法。
3. Architectural Implications
The paper establishes two critical "gates" for effective GPU agent control: 1. Deadline-feasible cohort supply: Ensuring enough concurrent work is available to justify GPU execution.
- Observation placement: Minimizing data movement by keeping decision-making logic on the device.
The author notes that fixed nested device graphs, which fail to optimize host-side decision points, are consistently slower than the proposed dynamic approach.
资源与可复现性
- 论文 PDF: View PDF
- 代码与制品: GitHub Repository
- 处理后的数据: Hugging Face Dataset
Resources and Reproducibility
- Paper PDF: View PDF
- Code and Artifacts: GitHub Repository
- Processed Evidence: Hugging Face Dataset
